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Abstract 



The method involves using a camera (2) connected with a control and evaluation unit (16, 17) for an 
image recognition, whereby a section of the image of the camera (2), which contains a traffic sign, is 
indicated on a display unit (1 1 ) after evaluation through the control and evaluation unit 
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® Verfahrenzur Inforrnationsanzeige in einem Kraftfahrzeug 

@ Es wird ein Verfahren zur Inforrnationsanzeige in einem , 
Fahrzeug vorgeschiagen, wobei auf einer Anzeigenein- 
heit ein Ausschnitt des Bildes einer Kamera angezeigt 
wird, das nach Auswertung durch, eine Steuer- und Aus- 
werteinheit ein Verkehrszeichen enthalt. 
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Beschreibung 
Stand der Technik 

Die Erfindung geht aus von einem Verfahren zur Informa- 
tionsanzeige in einem Kraftfahrzeug nach der Gattung des 
Hauptanspruchs. 

In heutigen Fahrzeugen existieren keinerlei automati- 
sierte Funktionen zur Unterstiitzung des Fahrers bei der Ver- 
kehrszeichenerkennung. Diese hat jedoch eineri hohen 
Komfort- und Sicherheitswert, z. B. zur Warnung des Fah- 
rers bei Geschwindigkeitsbeschrankungen oder Uberholver- 
boten, bzw. zur Information des Fahrers iiber mom en tan gel- 
tende Beschrankungen auf dessen Wunsch. Bei der existie- 
renden Verkehrsinfrastruktur kann eine Erkennung und Aus- 
wertung von Verkehrszeichen nur mit Hilfe von Bildsenso- 
ren erfolgen, da die Information rein optisch auswertbar vor- 
liegt. Aufgrund der hohen Komfort- und Sicherheitsrele- 
vanz einer Verkehrs Zeichenerkennung wird an videobasier- 
ter Verkehrszeichenerkennung gearbeitet. Die bekannten 
Ansatze gehen alle von einer Einschrankung der zu erken- 
nenden Verkehrszeichenmenge aus. Basierend auf der zu er- 
kennenden Verkehrszeichenmenge erfolgt eine Bildsegmen- 
tierung des von einer Kamera aufgenommenen Bildes, um 
die interessierenden Verkehrszeichen zu erkennen und zu 
klassifizderen. Mit der Klassifizierung wird die Verkehrs zei- 
cheninformation gewonnen, z. B. Geschwindigkeitsbegren- 
zung auf 70 km/h. Die klassifizierte Verkehrszeicheninfor- 
mation wird dem Fahrer iiber ein entsprechendes Anzeige- 
feld mitgeteilt, indem z. B, die Ziffernkombination "70" an- 
gezeigt wird. Mit dem Verfahren, die Informationen des 
durch den Sensor gewonnenen Bildes auf Verkehrszeichen 
zu untersuchen und die Auswertung dem Fahrer anzuzeigen, 
ergibt sich das Problem, daB die Klassifikation sehr sicher 
erfolgen muB. Andemfalls ist nicht auszuschlieBen, daB der 
Fahrer falsch informiert wird. Es ist zu erwarten, daB Fehl- 
klassifikationen einerseits die Akzeptanz eines solchen Sy- 
stems herabsetzen, andererseits produkthaflungsrechtliche 
Fragen aufwerfen konnen. Wird einem Fahrer eine falsche 
Geschwindigkeitsbeschrankung eingespielt, so daB er die 
Hochstgeschwindigkeit Uberschreitet, so stellt sich die 
Frage, wer die Haftung aus daraus resultierenden Schaden 
ubemimmt. Nach dem Stand der Technik sind Fehlklassifi- 
kationen bei der Erkennung von Verkehrszeichen nicht aus- 
zuschlieBen. 

Vorteile der Erfindung 

Das erfindungsgemaBe Verfahren zur Informationsan- 
zeige mit den kennzeichnenden Merkmalen des Hauptan- 
spruchs hat demgegenuber den Vorteil, daB direkt ein Aus- 
schnitt des vom Sensor ermittelten Bildes angezeigt wird, 
ohne daB eine Auswertung nach dem Inhalt des Verkehrszei- 
chens und eine Klassifikation erfolgt Die Auswertung des 
Bildes der Kamera sucht nach den Umrissen der Verkehrs- 
zeichen und stellt diesen Bildausschnitt direkt dem Fahrer 
dar, Eine Klassifikation nirnmt der Fahrer selbst vor, er wird 
lediglich auf das Verkehrszeichen hingewiesen und be- 
kommt es auf unterstiitzende Art prasentiert. Sollte bei der 
Auswertung ein Fehler unterlaufen, wird dem Fahrer ledig- 
lich ein Bildausschnitt ohne Verkehrszeichen dargestellt, 
das er einfach ignorieren kann. 

Durch die in den Unteranspruchen aufgefiihrten MaBnah- 
men ist eine vorteilhafte Weiterbildung und Verbesserung 
des im Hauptanspruch angegebenen Verfahrens moglich. 
Besonders vorteilhaft ist es, daB zusatzlich zu dem Ver- 
kehrszeichen noch weitere Informationen dargestellt werden 
konnen, wenn die Auswerteeinheit zusatzlich Informationen 
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von anderen Fahrzeugsensoren auBer der Kamera erhalt. 
Vorteilhafterweise kann so sowohl die Zeit als auch die Ent- 
femung seit der letzten Erkennung eines Verkehrszeichens 
angezeigt werden. 

5 Vorteilhafterweise kann das Verfahren auch Verkehrszei- 
chen mit Zusatzinforniationen z. B. "nur bei Nasse" bei Ge- 
schwindigkeitsbeschrankungen erfassen. Die Darstellung 
des Verkehrszeichens erfolgt mit dem Zusatzschild, wobei 
die Darstellung im Anzeigefeld des Fahrzeugs zwar die 

10 Schrift nicht mehr auflosen kann aber auf das Vorhandensein 
des Zusatzzeichens hinweist. 

Vorteilhaft ist auch, daB bei zusatzlicher Wamung des 
Fahrers basierend auf einer Verkehrszeichenklassifikation 
die Transparenz des Verfahrens erhalten bleibt. Die akusti- 

15 sche, haptische oder optische Warnung des Fahrers basie- 
rend auf der Inforrnationsverarbeitung kann durch den Fah- 
rer leicht durch Vergleich mit dem Bild des Anzeigefelds 
verglichen werden. 

20 Zeichnung 

Ausfuhrungsbeispiele der Erfindung sind in den Zeich- 
nungen dargestellt und in der nachfolgenden Beschreibung 
naher erlautert. Fig. 1 zeigt ein Fahrzeug mit einem Bildsen- 

25 sor, Fig. 2 eine beispielhafte StraBenszene, Fig. 3 eine bei- 
spielhafte StraBenszene mit einer zweiten Darstellungsmog- 
lichkeit, Fig. 4 eine StraBenszene mit beispielhafter Darstel- 
lungsmoglichkeit, Fig. 5 eine beispielhafte StraBenszene mit 
Darstellungsmoglichkeit und Fig. 6 schematische Darstel- 

30 lung der Sensorik im Kraftfahrzeug. 

Beschreibung des Ausfuhrungsbeispiels 

Fig. 1 zeigt die Positionierung des Bildsensors 2 inner- 

35 halb des Fahrzeugs 1. Der Bildsensor 2 wird mogHchst hoch 
an zentraler Position hinter der Windschutzscheibe ange- 
bracht, wobei die Blickrichtung in Fahrtrichtung ausgerich- 
tet ist. Der Sensor sollte sich noch im Bereich der Scheiben- 
wischer befinden. Fig. 2 zeigt beispielhaft eine Fahrbahn 3, 

40 die von Fahrbahnbegrenzungen 9 eingefaBt ist. Auf der ent- 
gegenkommenden Fahrbahn ist schernatisch ein entgegen- 
kommendes Fahrzeug 8 dargestellt. Am rechten Fahrbahn- 
rand ist eine Verkehrsschildkombination installiert. Das Ver- 
kehrszeichen 4 besitzt ein einschrankendes Zusatzzeichen 5. 

45 Zudem ist das Verkehrszeichen 6 "Achtung Fahrbahnun- 
ebenheiten" installiert. Aus dem Blick des Fahrers ist das 
Armaturenbrett 10 des eigenen Fahrzeugs mit dem Lenkrad 
12 zu sehen. Im Armaturenbrett 10 ist ein Bildschirm 11 im 
Blickfeld des Fahrers eingelassen, auf dem der vom Bild- 

50 sensor erfafite und von der Bildverarbeitung herausgeloste 
Bildausschnitt 7 mit den interessierenden Verkehrszeichen 
dargestellt wird. 

Fig. 3 zeigt eine Szene wie in Fig. 2 beschrieben, wobei 
zusatzlich eine Information 13 in einem Feld des Armatu- 

55 renbretts dargestellt ist. Fig. 4 zeigt eine weitere Darstel- 
lungsform, wobei eine Entfernungsangabe 14 zusatzlich 
dargestellt ist. Fig. 5 zeigt die Darstellungsform mit einer 
zeitlichen Angabe 15. Fig. 6 zeigt schernatisch eine mogli- 
che Realisierung des Sensoraufbaus zur Fahrerunterstut- 

60 zung. Der Bildsensor 2 ist iiber eine Leitung mit einer Aus- 
werteelektronik 16 verbunden. Die Auswerteelektronik 16 
weist weitere Verbindungen zu weiteren Sensoren 19 z. B. 
einen Tippschalter, iiber den Fahrerwunsche an die Aus- 
werteelektronik vermittelt werden konnen, und Fahrzeug- 

65 sensoren 18, die z. B. Fahrzeuggeschwindigkeit, Entfernung 
oder Zeitmessungen voraehmen. Die Auswerteelektronik 16 
ist mit dem Steuergerat 17 verbunden, das wiederum mit ei- 
nem Anzeigefeld 11 in Verbindung steht. Der Bildsensor 2 
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wird in Fahrtrichtung des Fahrzeugs positioniert und nimrat . 
Videobilder der Fahrzeugumgebung auf. Diese Bilder wer- 
den iiber die Leitung an die Auswerteelektronik vermittelt. 
In der Auswerteelektronik ist eine Software einzusetzen, die 
die fur die Fahrerunterstutzung benotigten Verkehrszeichen 
von sonstigen Bildteilen trennen kann. Im allgemeinen wer- 
den nicht samtliche- Verkehrszeichen herausgetrennt. Dies 
hangt aber von der gewahlten Art der Fahrerunterstutzung 
ab. Mochte man dem Fahrer beispielsweise nur beziigHch 
der besonders wichtigen Klasse von fahrgeschwindigkeits- 
begrenzenden Verkehrszeichen unterstutzen,-so wird man 
die Software derart gestalten, daB nur Verkehrszeichen er- 
kannt werden, die eineBegrenzung der Hochstgeschwindig- 
keit vorgeben. Die Software erkennt Verkehrszeichen an- 
hand ihrer UmriBstruktur 7 anhand der Farben oder anhand 
der auf dem Zeichen befindlichen opuschen Strukturen. Zur 
Verkehrszeichensegmentierung sind geeighete Algorithmen 
bekannt, z. B. aus "Detektion von Verkehrszeichen aus mo- 
nochromen Bildfolgen" Diplomarbeit Holger JanBen, Insti- 
tut fur theoretische Nachrichtentechnik, Universitat Hanno- 
ver 1997. Ist ein zur Fahrerunterstutzung notwendiges Ver- 
kehrszeichen in einem Sensorbild segmentiert worden, so 
kann dieses in darauffolgenden Bildern jeweils wieder seg- 
mehriert und zeitlich verfolgt werden bis es das Blickfeld 
des Sensors verlaBt Durch wiederholtes Segmentieren und 
zeitliche Verfolgung laBt sich eine Stabilisierung der Erken- 
nung relevanter Verkehrszeichen erreichen. Nach der Seg- 
mentierung ist in geeigneter Art eine Klassifizierung vorzu- 
nehmen, da zu entscheiden ist, ob ein fur die Fahrerunter- 
stutzung relevantes Verkehrszeichen vorliegt. Dabei wird 
ein fur die Fahrerunterstutzung relevantes Verkehrszeichen 
nicht lediglich mit seinem Informatiohsinhalt dargesteilt, 
sondern der Bildausschnitt, der das Verkehrszeichen enthalt, 
wird dem Fahrer direkt iiber ein Anzeigefeld 11 angezeigt. 
Erfolgt die Verkehrszeicherierkennung und Segmentierung 
fehlerhaft, was bei der Komplexitat der Verkehrszeichener- 
kennung nicht vollkommen auszuschlieBen ist, so sieht der 
Fahrer in seinem Anzeigefeld einen beliebigen fehlsegmen- 
tierten Szenenausschnitt ohhe Verkehrszeichen. Er kann das 
Fehlverhalten des Systems sofort erfassen und danach han- 
deln. Es wird keine falsche Sicherheit vom System vorge- 
gaukelt ' 

Das System zur Unterstutzung des Fahrers kann noch in 
verschiedenen Verbesserungen vorkommen. Mit Hilfe algo- 
rithmischer Verfahren laBt sich unter Umstanden die Bild- 
qualitat des vom Bildsensor aufgenommenen Bildes verbes- 
sern. Hierzu zahlen yor allem Methoden der Bildaufhellung 
bzw. Bildverdunklung, Kpntrastverstarkung und Kantenan- 
hebung. Durch diese Verfahren wird das Bild lediglich fur 
die Betrachtung durch den Fahrer yerbessert, aber nicht sein 
Informationsgehalt verfalscht oder interpretiert. 

Eine vorteilhafte Ausgestaltung des Systems erlaubt, daB 
das letzte segmentierte Verkehrszeichen aus der Menge der 
fur die jeweilige, gewiinschte Fahrerunterstutzung' relevan- 
ten Verkehrszeichen dem Fahrer auf dem Anzeigefeld 11 
standig prasentiert wird. Auf Autobahnen, auf denen im we- 
sentlichen Geschwindigkeitsbegrenzungen, Uberholverbote 
und deren Aufhebungen vorkommen, konnte der Fahrer 
durch Presentation des letzten segmentierten Verkehrszei- 
chens iiber die jeweils geltende letzte Fahrbeschrankung in- 
formiert werden. 

Eine weitere vorteilhafte Ausgestaltung des Systems er- 
laubt es, eine bestirnmte Anzahl der zeitlich zuletzt segmen- 
tierten Verkehrszeichenbilder in eihem elektronischen Spei- 
cher zu halten. In diesem Fall ist eine Eingabemoglichkeit 
iiber eine Tastatur 19 fur den Fahrer, vorzusehen, die es ihm 
ermoglicht anzugeben, welches Zeichen . er prasentiert be- 
kommen mochte. Besonders sinnvoll ist eine sequentielle 



Prasentation der gespeicherten Verkehrszeichenbilder be- 
ginnend mit dem zeitlich zuletzt segmentierten Zeichen. Da- 
bei kann der Fahrer durch Geben eines Signals, z. B. durch 
geeignete Tippschalter oder eine akustische Eingabe iiber ei- 

5 nen geeigneten Eingabesensor 19 zum nachsten alteren seg- 
mentierten Verkehrszeichen schalten. Somit ist eine Erinne- 
rung des Fahrers auf dessen Wunsch hin an die zeitlich zu- 
letzt erkannten und segmentierten Verkehrszeichen moglich. 
Nebeh der ausschlieBlichen Prasentation der segmenderten 

10 Verkehrszeichen ist eventuell eine ziisatzliche Zeicheninter- 
pretation sinnyoll. Dabei kann eine symbolhafte Informa- 
tion des Fahrers durch definierte Zeichen 13, siehe Fj^. 3, 
erfolgen. In diesem Fall kann der Fahrer durch Vergleich der 
angezeigten Zeichen mit dem gleichzeitig prasentierten 

15 Bildausschnitt sofort feststellen, ob die automatische Ver- 
kehrszeicheninterpretation fehlerhaft erfolgt. Auch hier ist 
die Funktion des Systems transparent, so daB die Verantwor- 
tung ausschlieBlich beim Fahrer verbleibt. 

In einer weiteren Ausfuhrungsform werden Warnungen 

20 an den Fahrer ausgegeben, die aufgrund von Informationen 
weiterer Fahrzeugsensoren gewonnen werden. So kann z. B. 
ein Gesch windigkeitssignal mit der Ausgabe einer Warnung 
kombiniert werden. Werin der Fahrer schneller fahrt, als die 
nach dem Verkehrszeichen zulassige Hochstgeschwindig- 

25 keit erlaubt, wird diese Diskrepanz von der Auswerteinheit 
erkannt und ein akustisches Wamsignal generiert. Dabei ist ^ 
es moglich, einen Wamton, eine akustische Sprachausgabe, 
oder auch eine optische Wamanzeige zu aktivieren. 

In einer weiteren Ausfuhrungsform wird iiber den Biid- 

30 sensor und die Auswerteeinheit eine Fahrspurerkennung 
durchgefuhrt. 

Mit Hilfe dieser bildbasierten Fahrspurverfolgung kann 
ein Ausscheren des Fahrzeugs auf die Gegenfahrbahn, z. B. 
zu Uberhdlzweckeh von der Auswerteeinheit erkannt wer- 
35 den. Im Zusammenhang mit einem yorab erkannten Uber- 
holverbot ist es dann moglich, wiederum ein Warnsignal 
auszugeben. 

Neben der Prasentation des Verkehrszeichens auf dem 
Anzeigefeld 11 ist es auch moglich, dem Fahrer eine Entfer- 

40 nungsangabe zur Verfuguhg zu stellen, die den Abstand zwi- 
schen aktueller-Fahrzeugposition und der Position, an der 
das Verkehrszeichen detektiert wurde, angibt. Die Zusatzin- 
formation 14, siehe Fig. 4; wird im Anzeigefeld dargesteilt. 
Somit hat der Fahrer zumindest eine eingeschrSnkte Mog- 

45 lichkeit zu iiberpriifen, ob das angezeigte Verkehrszeichen 
iiberhaupt noch fur ihn relevant ist. Die Entfernungsinfor- 
mation kann dabei direkt aus dem in jedem Fahrzeug vor- 
handenen Entfemuhgsmesser entnommen werden oder aber 
durch Verkniipfung von Fahrzeuggeschwindigkeitsinforma- 

50 tion mit der Zeit, die seit der petektion des Verkehrszei- 
chens vergangen ist. Die Auswertung der Sensorsignale er- 
folgt in der Auswerteeinheit 16, die iiber die Steuereinheit 
17 eine rriogliche Ausgabe auf dem Anzeigefeld 11 bewirkt. 
Altemativ zu einer Darstellung der Entfernungsinforma- 

55 tion kann gleichzeitig mit der Verkehrszeichendarstellung 
eine Zeitinformation an den Fahrer gegeben werden. Dazu 
ist die Zeitdifferenz zwischen Verkehrszeichendetektion und 
der aktuellen Zeit an den Fahrer iiber die Steuereinheit 17 zu 
erfassen. 

60 Fur die Bilderfassung fur die Verkehrszeichendetektion 
ist ein CMOS-Sensor mit nichtlinearer Wandkennlinie von 
Vorteil. Verkehrszeichen besitzen im allgemeinen lackierte, 
metallische Oberflachen oder Kunststoffoberflachen, die 
glatt sind und einfallendes Licht gut reflektieren. Bei ungiin- 

65 stigem lichteinfall oder Nachtfahrten mit Scheinwerferbe- 
leuchtung kann so eine durch Lichtreflektion oder sonstige 
Effekte verursachte extreme Bildhelligkeitsdynamik auftre- 
ten. Mit Hilfe eines nicht linearen Bildsensors sind diese 
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Helligkeitsunterschiede beherrschbar, so daB eine einfache 
Erstellung eines auswertbaren Videobildes der Auswerte- 
elektronik zur Verfugung gestellt werden kann. Besonders 
vorteilhaft ist in diesem Zusammenhang ein Bildsensor mit . 
logarithmischer Kennlinie, da so eine konstante Kontrast- 5 
auflosung iiber den gesamten Helligkeitsbereich gewahrlei- 
stet ist. 

Patentanspriiche 

LO 

1 . Verfahren zur Informationsanzeige in einem Fahr- 
zeug, das eine Kamera (2) Und eine damit verbundene 
Steuer/Auswerteinheit (16, 17) zur Bilderkennung auf- 
weist, dadurch gekennzeichnet, daB auf einer An- 
zeigeeinheit (11) ein Ausschnitt des Bildes der Kamera 15 
(2) angezeigt wird, der nach Auswertung durch die 
Steuer/Auswerteeinheit (16, 17) ein Verkehrszeichen 
enthalt. 

2. Verfahren zur Informationsanzeige nach Anspruch 

1, dadurch gekennzeichnet, daB die Steuer/Auswerte- 20 
einheit Informationen von mindestens einem weiteren 
Fahrzeugsensor (18, 19) auswertet und daB die Ergeb- 
nisse der Auswertung zusatzlich zum Ausschnitt des 
Bildes der Kamera dargestellt wird. 

3. Verfahren zur Informationsanzeige nach Anspruch 25 

2, dadurch gekennzeichnet, daB die Entfernung oder/ 
oder die Zeit seit der letzten Erkennung eines Verkehrs- 
zeichens angezeigt wird. 

4. Verfahren zur Informationsanzeige nach Anspruch 

1 bis 3, dadurch gekennzeichnet, daB die Klassifikation 30 
des letzten erkannten Verkehrszeichens angezeigt wird. 

5. Verfahren zur Informationsanzeige nach Anspruch 
1 bis 4, dadurch gekennzeichnet, daB der Ausschnitt 
des Bildes der Kamera den UmriB eines Verkehrszei- 
chens und eines Zusatzzeichens umfaBt. 35 

6. Verfahren zur Informationsanzeige nach Anspruch 
1 bis 5, dadurch gekennzeichnet, daB die zuletzt er- 
kannten Verkehrszeichen abrufbar in einer Datenbank 
abgelegt und/oder dem Fahrer dargestellt werden. 

7. Verfahren zur Informationsanzeige nach Anspruch 40 
1 bis 6, dadurch gekennzeichnet, daB bei einem Soli/ 
Ist- Vergleich der Geschwindigkeiten des Fahrzeugs im 
Fall einer uberhohten Geschwindigkeit eine akustische 
und/oder optische Wamung erfolgt. 

8. Verfahren zur Informationsanzeige nach Anspruch 45 
1 bis 7, dadurch gekennzeichnet, daB eine Fahrspurer- 
kennung durch die Steuer/Auswerteeinheit erfolgt und 
daB ein unerlaubtes Ausscheren des Fahrzeugs im 
Uberholverbot eine akustische und/oder optische War- 
ming auslost. 50 

9. Verfahren zur Informationsanzeige nach Anspruch 
1 bis 8, dadurch gekennzeichnet, daB die Kamera einen 
nichtlinearen bzw. logarithmierenden CMOS-Bildsen- 
sor enthalt. 
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